Tháng 4 năm 1927, khi Tưởng Giới Thạch tiến hành đàn áp Đảng Cộng sản thì Trương Quốc Ðào giữ chức vụ Tổng chính ủy Hồng quân.

Năm 1931 ông thành lập khu Xô viết Ngạc Dự Hoãn tại khu vực thuộc các tỉnh Hồ bắc, Hà Nam, An Huy với trọng trách Tổng bí thư, Chủ tịch Ủy ban quân sự, Phó Chủ tịch Chính quyền Xô viết, trong khi đó đối thủ Mao Trạch Đông làm Chủ tịch chính quyền Xô viết.

Năm 1932 ông và một số đảng viên khác đưa quân đoàn 4 của Hồng quân về Tứ Xuyên thành lập chiến khu với 80.000 người.

Tháng 7 năm 1935, theo đề nghị của Mao Trạch Đông (đang lãnh đạo Vạn lý Trường chinh), Trương Quốc Ðào tuy không đồng ý chủ trương trường chinh cũng phải đưa quân về Thiểm Tây, trên đường hành quân, 80.000 quân của họ Trương bị quân Quốc dân đảng đánh tan tác, chỉ còn 21.800 người về tới Thiểm Tây. Trương Quốc Đào bị các đồng chí trong Đảng buộc tội là đã đào ngũ trong cuộc Vạn Lý Trường Chinh.

Tháng 10 năm 1936, Trương Quốc Đào bị cử đi tiếp nhận viện trợ của Liên Xô, cuộc hành quân phải xuyên qua phòng tuyến dày đặc của quân Quốc dân đảng; quân Trương Quốc Đào bị đẩy vào tình cảnh nguy khốn, sa lầy, tiêu hao lớn, phải băng qua sa mạc, bị dân quân vũ trang Hồi giáo chống cộng tàn sát. Tháng 4 năm 1937, chỉ còn khoảng 400 tàn quân Trương Quốc Đào về được căn cứ. Ông được cử làm Phó chủ tịch vùng biên khu Thiểm Cam Ninh.

Bị cô lập, năm 1938, Trương Quốc Đào bỏ trốn khỏi Diên An về Vũ Hán đầu hàng Tưởng Giới Thạch, theo cuốn Mao: The Unknown Story thì ông đã không tiết lộ một bí mật gì của Đảng Cộng sản Trung Quốc cho Quốc dân đảng.